Transcrição da Prova — Mariana Luciano Moraes
Matrícula: 20233007710 • Turma2 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Mariana Luciano Moraes
Matrícula: 20233007710
Turma: turma2
Taxa de Legibilidade Estimada: 95%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“A avaliação: Incorreta a curva de validação a subir indica overfitting impedindo o uso em produção”
Observações de Leitura (OCR): Cursiva muito clara e fluida; aponta objetivamente o sobreajuste pela curva de perda de validação ascendente a partir da época 8.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“Normalizar dados numericos e usar One-Hot, Embeddings em categoricos, a retropropagação calcula gradientes para ajustar os pesos”
Observações de Leitura (OCR): Cita normalização numérica, One-Hot e Embeddings para categorias, e cálculo de gradientes para ajuste de pesos via retropropagação.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“Usar conjunto de teste cego métricas clínicas (Sensibilidade AUC-ROC) e fixar random seeds.”
Observações de Leitura (OCR): Excelente síntese: teste cego independente, métricas clínicas adequadas (Sensibilidade, AUC-ROC) e fixação de sementes aleatórias (random seeds).
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“Comparar distribuições de entrada entre turno diurno e noturno (iluminação, contraste, ruído). Inspecionar uma amostra das imagens noturnas que geraram alerta falso e re-rotulá-las manualmente. Avaliar o desempenho em subconjuntos separados por turno. Covariate shift (mudança na iluminação/pixels), overfitting (erro em validação) ou Erro de Rotulação (inconsistência na anotação).”
Observações de Leitura (OCR): Resposta completa e precisa: diferenciação das três hipóteses por inspeção de pixels/iluminação, re-rotulagem manual e segmentação por turno.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“Congelar camadas iniciais da CNN e ajustar as finais, aplicar variação de brilho e contrastes e Dropout”
Observações de Leitura (OCR): Descreve fine-tuning (congelar camadas iniciais, treinar finais), data augmentation focado em brilho/contraste e regularização por Dropout.
Item 2.c — Cautela Amostral (1,0 ponto)
“Usar validação cruzada estratificada para gerar intervalos de confiança nas metricas (evitando que poucas amostras distorçam a avaliação). Aplicar teste de hipótese, antes de afirmar que a alteração no modelo trouxe uma melhoria real e estatisticamente relevante”
Observações de Leitura (OCR): Excelente menção formal a intervalos de confiança e testes de hipótese estatísticos para validar significância real.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“Falha \(\hat{p} = 0,50\) equivale a apenas 18% de risco real (82% alarmes falsos). Probabilidades irreais geram fadiga de alarme e desconfiança médica”
Observações de Leitura (OCR): Cálculo direto da proporção de alarmes falsos (\(100\% - 18\% = 82\%\)) e diagnóstico preciso de fadiga de alarme no corpo médico.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“Falsos negativo é critico (risco a saúde), mas o modelo superconfiante gera excesso de Falsos positivo. O limiar deve ser recalibrado para que o volume de alerta não ultrapasse o teto da equipe médica”
Observações de Leitura (OCR): Ponderação exata entre o risco vital de falso negativo e a restrição de capacidade física da equipe frente à superconfiança.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Monitorar Data Drift (entradas) e Concept Drift (discordancia medica). Ação: ativar fallback (triagem humana) e re-treinar o modelo”
Observações de Leitura (OCR): Distingue formalmente Data Drift de Concept Drift e propõe protocolo de fallback seguro com triagem humana.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“Word2vec é estatico, transformers usam contextualizados. O cosseno mede apenas proximidade temática global”
Observações de Leitura (OCR): Diferencia embeddings estáticos de contextuais e pontua que o cosseno reflete proximidade temática, não acurácia normativa pontual.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“Apenas ter retorno não garante precisão usar metricas como MRR”
Observações de Leitura (OCR): Cita a métrica de ranqueamento recíproco médio (MRR) para avaliar relevância qualitativa.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“combinar BM25 (lexical) com vetores densos (sematicos) aplicar filtros por metadados.”
Observações de Leitura (OCR): Definição precisa da busca híbrida (BM25 + densa) e governança por filtros de metadados.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“O maior escore falha em consultas ambiguas abster-se se o escore for menor que t1 ou se a diferença entre o 1º e 2º for menor que t2”
Observações de Leitura (OCR): Formulação canônica do critério duplo de abstenção (\(\tau_1\) para limiar mínimo e \(\tau_2\) para margem competitiva).
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“Priorizar normas recentes por metadados e testar o sistema com cenarios sem respostas conflitantes”
Observações de Leitura (OCR): Critério de precedência temporal via metadados e avaliação com testes sem resposta / conflitos simulados.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Olhar a taxa de abstenção, aumentos indicam duvidas dos utilizadores ou duplicidade”
Observações de Leitura (OCR): Vincula anomalias na taxa de abstenção a ambiguidades dos usuários ou duplicidades no acervo.
Espaço para Rascunho ou Cálculos Adicionais (Opcional)
[NÃO RESPONDEU / EM BRANCO]